Major minat akan politik sejak muda lagi dan pada tahun 1964 ketika berumur 21 tahun, bertanding untuk Majlis Boro Lambeth. Walaupun tidak berjaya, beliau dipilih dalam pilihan raya umum yang berikut pada tahun 1968 ketika Parti Konservatif mencapai kemenangan besar. Semasa dalam Majlis, Major berkhidmat sebagai Naib Pengerusi Jawatankuasa Perumahan yang bertanggungjawab untuk pembinaan kawasan perumahan majlis.

Pengaruh pembentuk dalam kerjaya politik Major ialah Jean Kierans, seorang janda yang 13 tahun lebih tua dan yang menjadi mentor politik serta kendaknya. Hubungan mereka berlangsung dari tahun 1963 sehingga selepas 1968. Dalam kedua-dua pilihan raya umum pada tahun 1974, Major bertanding untuk kerusi Parlimen di St. Pancras Utara, kawasan kubu tradisional Parti Buruh, tetapi tidak berjaya.

Pada November 1976, Major dipilih oleh Konservatif Huntingdonshire sebagai calon mereka untuk pilihan raya umum yang berikut. Dengan itu, Major menang kerusi selamat dalam pilihan raya umum 1979. Selepas perubahan sempadan, Major menjadi Ahli Parlimen untuk Hungtingdon pada tahun 1983, 1987, 1992, dan 1997. Majoritinya pada tahun 1992 sebanyak 36,230 merupakan majoriti berangka yang tertinggi sejak tahun 1832.

Major menyertai Kabinet sebagai Menteri Perbendaharaan pada tahun 1987, dan dalam satu rombakan kabinet yang mengejut pada 31 Julai 1989, beliau yang masih tidak banyak berpengalaman dilantik sebagai Menteri Luar Negeri, mewarisi Geoffrey Howe. Tiga bulan kemudian, Major menjadi Canselor Exchequer selepas Nigel Lawson meletakkan jawatan pada Oktober 1989.

Apabila cabaran Michael Heseltine terhadap kepimpinan Margaret Thatcher memaksa pertandingan pusingan kedua dan Thatcher menarik diri, Major menyertai pertandingan itu bersama-sama dengan Douglas Hurd. Walaupun Major hanya mencapai 185 undi berbanding 187 undi yang diperlukan, keputusan ini adalah mencukupi untuk beliau mendapat konsesi daripada pesaing-pesaingnya dan Major menjadi Ketua Parti Konservatif pada 27 November 1990 ketika berumur 47 tahun. Pada hari berikut, 28 November 1990, Major diperintah ke Istana Buckingham dan dilantik sebagai Perdana Menteri.